Graph Embedded Pose Clustering for Anomaly Detection

会议：CVPR 2020

单位：Tel-Aviv University, Alibaba Group

论文：arxiv

代码：code

创新

从输入视频序列计算得到人体姿态图，之后通过时空图卷积自编码器和聚类将这些姿态图映射到隐空间

提出了两种粒度的异常检测

• 粗粒度，指定某类行为是正常其余为异常行为（ShanghaiTech Campus数据集上）
• 细粒度，指定某类行为为异常其余非异常行为 （NTU-RGB+D、Kinetics 400数据集上）

人体姿态图的好处

1. 使得问题更抽象，算法只关注人体姿态不受无关特征的影响比如光照，视角
2. 人体姿态图更紧凑，使得推理、训练和测试更快

网络结构

时空图卷积自编码

使用ST-GCN块(GCN算子由空间注意力图卷积替换)来构造时空图卷积自编码器（ST-GCAE）

三种类型的邻接矩阵

• 身体部位物理邻接矩阵

• 数据集相关的关键点关系（训练中学习得到）

• 自注意力模块推理得到（特定于样本）

聚类

对于每个输入样本$\mathbf{x}_{i}$用$\mathbf{z}_{i}$表示编码器的隐向量，$\mathbf{y}_{i}$计算软聚类，$\Theta$表示聚类层参数，$p_{i k}$表示第$i$个样本分配到第$k$簇的概率

$$p_{i k}=\operatorname{Pr}\left(y_{i}=k \mid \mathbf{z}_{i}, \Theta\right)=\frac{\exp \left(\boldsymbol{\theta}_{k}^{T} \mathbf{z}_{i}\right)}{\sum_{k^{\prime}=1}^{K} \exp \left(\boldsymbol{\theta}_{k^{\prime}}^{T} \mathbf{z}_{i}\right)}$$

聚类的目标函数是最小化当前模型预测分布P和目标分布Q之间的KL散度

$$L_{c l u s t e r}=K L(Q \| P)=\sum_{i} \sum_{k} q_{i k} \log \frac{q_{i k}}{p_{i k}}$$

其中

$$q_{i k}=\frac{p_{i k} /\left(\sum_{i^{\prime}} p_{i^{\prime} k}\right)^{\frac{1}{2}}}{\sum_{k^{\prime}} p_{i k^{\prime}} /\left(\sum_{i^{\prime}} p_{i^{\prime} k^{\prime}}\right)^{\frac{1}{2}}}$$

Normality Scoring

狄利克雷过程混合模型（Dirichlet Process Mixture Model, DPMM）是一种非参数贝叶斯模型，它可以理解为一种聚类方法，但是不需要指定类别数量，它可以从数据中推断簇的数量

狄利克雷过程混合模型

实验

ShangHaiTech数据集 细粒度异常检测

关节点坐标作为输入特征没有关节点小图做特征效果好

NTU-RGB+D、Kinetics 400 粗粒度异常检测

使用10个随机和10个有意义的分割来评估每个数据集

消融实验

评估模型对噪声的鲁棒性，即在训练集中存在一定百分比的异常动作